Khởi đầu (1987–1996)

Kovač bắt đầu theo học bóng đá khi 8 tuổi tại câu lạc bộ Rapide Wedding tại địa phương.[3][4] Sau đó, ông bắt đầu chơi cho Hertha Zehlendorf và sớm trở thành thành viên của đội một. Ông chuyển đến Hertha BSC vào mùa hè năm 1991 và bắt đầu sự nghiệp chuyên nghiệp của mình với câu lạc bộ thi đấu tại giải 2. Bundesliga.[4] Khi còn trẻ, ngoài bóng đá, Kovač còn luyện tập judo, có được đai xanh. Sau khi học xong trung học, ông tiếp tục học tại Đại học Tự do Berlin. Ông theo đuổi khóa học về kinh doanh khi chơi cho Hertha BSC. Sau 8 học kỳ, ông rời trường đại học khi ký hợp đồng với Bayer Leverkusen.[4][5]

Bayer Leverkusen (1996–1999)

Mùa hè năm 1996, Kovač rời Hertha, chuyển sang chơi cho Bayer Leverkusen. Ông ra mắt Bundesliga vào ngày 17 tháng 8 năm 1996, vào sân thay người sau giờ nghỉ tại trận mở màn mùa giải 1996-97, đó là trận thắng 4-2 trên sân nhà trước Borussia Dortmund. Ông thi đấu 32 trận tại Bundesliga trong mùa đầu tiên với Leverkusen, ghi được 3 bàn thắng. Tuy nhiên, trong 2 mùa giải tiếp theo, ông chủ yếu chỉ được vào sân từ ghế dự bị, bỏ lỡ một số trận đấu quan trọng - sau khi gặp phải chấn thương tại trận đấu trên sân nhà trước VfB Stuttgart vào tháng 12 năm 1997. Sau 3 mùa giải chơi cho Leverkusen, ông có 77 lần ra sân và 8 bàn thắng tại Bundesliga. Ông là đồng đội với em trai Robert tại câu lạc bộ.

Hamburger SV (1999–2001)

Kovač gia nhập Hamburger SV vào mùa hè năm 1999 và trải qua 2 mùa giải với câu lạc bộ, với 55 lần ra sân và 12 bàn thắng tại Bundesliga.[6]

Bayern Munich (2001–2003)

Tháng 7 năm 2001, Kovač đã ký hợp đồng với đội đương kim vô địch Bundesliga và Champions League, Bayern Munich. Kovač gia nhập câu lạc bộ cùng với em trai của mình, Robert Kovač. Tuy nhiên, sau 2 mùa giải không được ra sân thường xuyên, Kovač rời Bayern để có lần thứ hai thi đấu cho Hertha BSC vào hè năm 2003. Tổng cộng, ông xuất hiện trong 34 trận đấu tại Bundesliga và ghi ba bàn cho Bayern ở giải đấu.

Hertha BSC (2003–2006)

Kovač ký hợp đồng với Hertha một lần nữa. Ông đã có 75 lần ra sân ở Bundesliga cho Hertha và ghi 8 bàn cho câu lạc bộ tại giải.

Red Bull Salzburg (2006–2009)

Sau World Cup 2006, Kovač rời Hertha sau ba mùa giải ở Bundesliga, chuyển sang Áo thi đấu cho Red Bull Salzburg. Ông thường xuyên có mặt trong đội hình của Salzburg và cũng xuất hiện trong tất cả bốn trận vòng loại UEFA Champions League vào mùa hè năm 2006. Ngày 26 tháng 8 năm 2006, ông đã ghi bàn thắng đầu tiên cho Red Bull Salzburg tại Bundesliga Áo, ghi bàn thắng thứ 2 trong chiến thắng 4-0 trên sân nhà trước Wacker Tirol. Tháng 5 năm 2008, ông ký hợp đồng thêm một năm cho đến mùa hè năm 2009. Vào ngày 29 tháng 5 năm 2009, Kovač rời câu lạc bộ sau 3 năm với Red Bull và giã từ bóng đá chuyên nghiệp. Ông chơi trận đấu cuối cùng cho Red Bull trong trận giao hữu với câu lạc bộ cũ Bayern Munich; được thay ra sau 15 phút đầu tiên.[7]